Vào Thời kỳ Tudor, vùng đất mà tòa nhà Horse Guards đang hiện hữu chính là sân trong của Cung điện Whitehall. Trong thời kỳ thịnh vượng chung ở Anh, chuồng ngựa dành cho đội kỵ binh đã được xây dựng. Tòa nhà Horse Guards đầu tiên được xây dựng bằng gạch đỏ cho Vua Charles II vào năm 1663.[2] Công trình gồm có một tòa nhà lớn với tháp đồng hồ, bên dưới có một cổng vòm liên kết Cung điện Whitehall với Công viên St. James. Có hai nhà gác hình hộp lớn dành cho lính canh ở phía Whitehall, đối diện với cổng cung điện. Công viên lúc thời bấy giờ là một khu vườn tư nhân khép kín. Cũng giống như hoàng gia, chỉ những cận thần được chọn mới được phép sử dụng khu vườn.

Tòa nhà được thiết kế làm doanh trại cho Trung đoàn Cận vệ của Bệ hạ (King's Life Guard) và nó bao gồm việc ổn định cho hơn 100 chú ngựa cho đội kỵ binh, cũng như doanh trại riêng cho lính gác. Năm 1698, Cung điện Whitehall gần như bị hỏa hoạn thiêu rụi hoàn toàn và Tòa án Hoàng gia chuyển đến Cung điện St James ở Công viên phía sau Horse Guards. Do đó, chức năng chính của Horse Guards cũng đã bị thay đổi sang nhiệm vụ kiểm soát tiếp cận nghi lễ từ Westminster tới St James.[3] Tuy nhiên, Horse Guards vẫn là lối vào chính thức duy nhất của Tòa án và họ đã làm như vậy kể từ thời điểm đó.